| min rank | avg. rank | sentence |
|---|---|---|
| 3325 | 50462.8000 | «Du gjenreiste stoltheten + troen - takk. |
| 2031 | 7291.8000 | Synes forøvrig Sopranos fortjener førsteplassen! |
| 1778 | 25233.4000 | Wilhelmsen forventar redusert global vekst. |
| 1767 | 12362.6667 | Randaberg - Bryne 2-1 (0-1) 823 tilskuere. |
| 1596 | 4012.8333 | Tilsammen inneholder tankene 500 tonn olje. |
| 1589 | 36611.2000 | Klokken 14.40 avblåste brannvesenet evakueringa. |
| 1472 | 15361.4000 | Regjeringen nekter Helse-Norge private lån. |
| 1413 | 26833.0000 | » Vivian Heide, grisebonde Vivian Heide eier gården. |
| 1369 | 19370.6667 | “Heldigvis” traff godteriet Bowies venstre øye. |
| 1367 | 6677.7500 | Avsløringen skapte voldsomme reaksjoner. |
| 1360 | 21713.2000 | Då gjestar Lillestrøm Fosshaugane campus. |
| 1311 | 9401.0000 | Kilder: BBC, Statsministerens kontor, CICERO. |
| 1262 | 20551.0000 | Nikola Djurdjic (Haugesund) Mål Haugesund: NIKOLA DJURDJIC (straffe). |
| 1179 | 7629.6667 | Hønefoss - Randaberg 6-0 (2-0) 1230 tilskuere. |
| 1171 | 34922.5000 | Onsdag gjenstår advokatenes avslutningsprosedyrer. |
| 1139 | 69695.8000 | Tsering lager tradisjonell ladakhi vegetarmiddag. |
| 1012 | 21687.1667 | Helle Thorning Schmidt kaller tallene fiktive. |
| 1003 | 19238.8000 | Grekerne frykter folkeavstemning ATHEN (Aftenposten. |
| 981 | 13710.5000 | Mandag besøkte miljøvernministeren Lofoten. |
| 974 | 10946.5000 | La Singelyatzy Grand Prix Spesial begynne! |
| 945 | 3729.2000 | Ni medaljer totalt, gleder landslagsledelsen. |
| 918 | 5100.8421 | 30. oktober: Alta - Bryne, Bodø/Glimt - Sandnes Ulf, Hødd - HamKam, Løv-Ham - Hønefoss, Mjøndalen - Ranheim, Nybergsund-Trysil - Strømmen, Randaberg - Kongsvinger, Sandefjord - Asker. |
| 891 | 8074.2000 | Nordmenn opplever tidenes høyeste bensinpriser. |
| 884 | 29499.0000 | Tone Damlie Aaberge valgte behagelige Converse, men.. |
| 840 | 12668.5000 | Oscar Brattlie kjente Haakon Lie personlig. |
| 829 | 10206.6667 | Kjøpmann Sindre Helmersen selger annerledes mat. |
| 764 | 9642.0000 | FOTO: AP PHOTO/SCANPIX Frankrikes utenriksminister Alain Juppe (t. |
| 758 | 13701.0000 | 4. Outlaws Fredrikstad, ukjent opprettelsesår. |
| 758 | 13729.5000 | Lørenskog - Fredrikstad 0-4 (0-2) 1406 tilskuere. |
| 757 | 13053.2727 | Roar Johansen, Sarpsborg 08. Foto: Espen Torgersen/NRK FFK-trener Tom Freddy Aune. |
In contrast to subsection 4.5.2.1 we now search for sentences consisting of rare words only. The sentences are ordered by the rank of the most frequent word in a sentence. In the table, we see the corresponding sentences with a minimum length of 40 characters.
The sentences are forced not to contain any everyday word. As a consequence, we get either sentences of some very reduced structure or sentences in some foreign language. Hence, the data are useful for the evaluation of the preprocessing, especially language detection.
select min(w_id)-100 as m, avg(w_id)-100 as a, s.sentence from sentences s, inv_w i where s.s_id=i.s_id and length(sentence)>40 and i.w_id>100 group by s.s_id order by m desc limit 30;
Should we remove the sentences having its least frequent word above some threshold?
4.5.2.1 Maximum word rank in sentence
4.5.2.2 Average word rank in sentence
4.5.2.4 Sentences consisting of many low frequency words II
4.5.2.5 Sentences consisting of short words only I
4.5.2.6 Sentences consisting of short words only II
4.5.2.7 Sentences consisting of long words only I
4.5.2.8 Sentences consisting of long words only II